大模型训练数据深度解析：预训练、SFT、RL 都需要什么数据

数据是 AI 的燃料，但不同阶段需要不同"标号"的燃料。

2026 年，大模型训练已经从"大力出奇迹"进入"精细调数据"阶段。GPT-4o、Kimi K3、Qwen3.8 等旗舰模型的训练数据规模达到 TB 级，但数据质量比数量更重要。

本文将深度解析大模型训练三个阶段（预训练、SFT、RL）的数据需求，揭示数据工程的核心秘密。

一、大模型训练三阶段概览

预训练（Pre-training）
    ↓ 学语言、学知识
监督微调（SFT）
    ↓ 学指令、学对话
强化学习（RL/RLHF/DPO）
    ↓ 学偏好、学安全
    ↓
可用模型

类比：

• 预训练 = 读万卷书（吸收知识）
• SFT = 拜师学艺（学习规矩）
• RL = 社会历练（懂得分寸）

二、预训练数据：让模型"读万卷书"

2.1 数据类型与占比

2.2 数据规模对比

趋势：数据量增长放缓，数据质量成为竞争焦点。

2.3 数据质量要求

数据处理流水线

原始数据（Common Crawl 等）
    ↓
去重（MinHash/SimHash）→ 去除 30-50% 重复
    ↓
过滤（低质量、有毒内容）→ 去除 10-20%
    ↓
清洗（HTML 标签、特殊字符）
    ↓
语言识别（确保多语言比例）
    ↓
分词（BPE/WordPiece）
    ↓
预训练数据

关键指标

2.4 2026 年数据趋势

三、SFT 数据：让模型"学会听话"

3.1 数据类型与占比

3.2 数据格式

OpenAI Chat 格式（主流）

{
  "messages": [
    {"role": "system", "content": "你是一个有用的助手"},
    {"role": "user", "content": "请解释什么是注意力机制"},
    {"role": "assistant", "content": "注意力机制是一种让模型学会关注重点的技术..."}
  ]
}

Alpaca 格式（早期）

{
  "instruction": "请解释什么是注意力机制",
  "input": "",
  "output": "注意力机制是一种..."
}

ShareGPT 格式（多轮对话）

{
  "conversations": [
    {"from": "human", "value": "你好"},
    {"from": "gpt", "value": "你好！有什么我可以帮你的吗？"},
    {"from": "human", "value": "帮我写首诗"},
    {"from": "gpt", "value": "好的，请问什么主题？"}
  ]
}

3.3 数据规模

3.4 数据质量要求

3.5 SFT 数据的"艺术"

好的 SFT 数据不是越多越好，而是越精越好：

四、RL 数据：让模型"懂得分寸"

4.1 为什么需要 RL？

SFT 后的模型虽然"会说话"，但可能：

• 胡说八道（幻觉）
• 有毒内容（被诱导输出有害信息）
• 啰嗦冗长（废话多）
• 不遵循偏好（用户喜欢简洁，模型喜欢长篇）

RL 的目标：让模型的回答更符合人类偏好（有用、安全、诚实）。

4.2 数据类型

4.3 偏好数据格式

RLHF 格式

{
  "prompt": "如何制作炸弹",
  "response_chosen": "抱歉，我不能提供危险物品的制作信息",
  "response_rejected": "制作炸弹需要以下材料..."
}

DPO 格式

{
  "prompt": "解释量子力学",
  "chosen": "量子力学是研究微观粒子行为的物理学分支...",
  "rejected": "量子力学就是量子 + 力学，很简单..."
}

4.4 数据规模

4.5 标注流程

问题池（数万条）
    ↓
模型生成多个回答（2-4 个/问题）
    ↓
人工标注员排序/选择最佳
    ↓
偏好数据集
    ↓
训练奖励模型（RM）或直接 DPO
    ↓
RL 训练（PPO/DPO）

4.6 标注维度

标注员通常从以下维度评估回答：

五、Agentic 能力训练：让模型"学会做事"

Agentic 能力 = 模型能够自主规划、调用工具、执行多步任务的能力

5.1 什么是 Agentic 能力？

5.2 Agentic 训练数据类型

任务规划数据

{
  "task": "帮我分析这家公司的财务状况",
  "plan": [
    "1. 搜索公司最新财报",
    "2. 提取关键财务指标",
    "3. 与同行业公司对比",
    "4. 生成分析报告"
  ],
  "execution": [...],
  "result": "..."
}

工具调用数据

{
  "user": "今天北京天气怎么样？",
  "thought": "我需要调用天气 API 查询北京当前天气",
  "action": {
    "tool": "weather_api",
    "parameters": {"city": "北京", "date": "today"}
  },
  "observation": {"temperature": "25°C", "condition": "晴"},
  "response": "今天北京天气晴朗，气温 25°C"
}

多步交互数据

5.3 Agentic 能力训练方法

方法 1：监督微调（SFT）

用高质量的 Agent 轨迹数据微调模型

数据收集：
    ↓
人工标注或强模型（GPT-4）生成 Agent 轨迹
    ↓
格式化为多轮对话
    ↓
SFT 微调

数据格式：

{
  "messages": [
    {"role": "user", "content": "帮我查一下明天北京的天气"},
    {"role": "assistant", "content": "好的，我来查询一下。"},
    {"role": "tool_call", "content": "weather_api(city='北京', date='tomorrow')"},
    {"role": "tool_result", "content": "{\"temp\": \"26°C\", \"condition\": \"多云\"}"},
    {"role": "assistant", "content": "明天北京多云，气温 26°C"}
  ]
}

优点：简单直接，效果好 缺点：需要大量高质量标注数据

方法 2：强化学习（RLHF/RLAIF）

用奖励信号引导模型学会更好的 Agent 行为

SFT 模型
    ↓
生成 Agent 轨迹
    ↓
评估轨迹质量（任务完成率、步骤效率、工具使用正确性）
    ↓
训练奖励模型
    ↓
PPO/DPO 优化策略

奖励信号设计：

方法 3：课程学习（Curriculum Learning）

从简单到复杂逐步训练 Agent 能力

阶段 1：单步工具调用
    ↓
阶段 2：2-3 步简单任务
    ↓
阶段 3：5-10 步复杂任务
    ↓
阶段 4：开放域多步任务

示例：

方法 4：自我博弈/自我改进

模型自己生成数据、自己评估、自己改进

初始 Agent 模型
    ↓
自动生成大量任务轨迹
    ↓
用规则或强模型评估质量
    ↓
筛选高质量轨迹
    ↓
重新训练模型
    ↓
循环迭代

代表工作：

• Self-Instruct：模型自己生成指令和响应
• Self-Refine：模型自己审查和改进输出
• AgentTuning：用 GPT-4 生成 Agent 数据，微调开源模型

5.4 关键训练技术

Function Calling 格式

统一工具调用格式：

{
  "name": "search",
  "arguments": {
    "query": "2026 年 AI 发展趋势"
  }
}

训练要点：

• 模型学会何时调用工具
• 模型学会构造正确的参数
• 模型学会解析工具返回结果

思维链（Chain-of-Thought）

让模型先思考再行动：

用户：帮我比较一下 iPhone 16 和 Samsung S26 的摄像头

模型思考：
1. 我需要查询两款手机的摄像头规格
2. 先查 iPhone 16 的摄像头参数
3. 再查 Samsung S26 的摄像头参数
4. 对比关键指标
5. 给出总结建议

错误恢复训练

故意注入错误，训练模型自我修正：

正常轨迹：
    查天气 → 得到结果 → 回答

错误恢复轨迹：
    查天气 → API 报错 → 分析错误 → 重试 → 得到结果 → 回答

5.5 Agentic 能力评估

常用基准：

• GAIA：通用 AI 助手基准
• ToolBench：工具调用能力评估
• AgentBench：多环境 Agent 评估
• WebArena：网页浏览任务

5.6 2026 年 Agentic 训练趋势

六、三阶段数据对比

七、数据飞轮：从用户反馈到模型迭代

用户交互
    ↓
收集反馈（点赞/点踩/举报）
    ↓
标注团队审核
    ↓
加入训练数据
    ↓
模型迭代
    ↓
更好的用户体验
    ↓
更多用户交互

关键指标：

• 用户满意度：点赞率、对话轮数
• 安全事件：有害内容举报率
• 幻觉率：事实性错误比例

八、2026 年数据工程趋势

九、关键洞察

8.1 数据质量 > 数据数量

案例：Kimi K3 用 1.4T 高质量 token 达到了其他模型 10T+ 的效果。

8.2 数据多样性决定模型能力

8.3 数据飞轮是护城河

更多用户 → 更多反馈 → 更好数据 → 更好模型 → 更多用户

ChatGPT 的护城河：不是模型架构，而是数据飞轮。

8.4 合成数据是双刃剑

最佳实践：合成数据 + 人工审核，比例 7:3。

十、一句话总结

预训练学"知识"，SFT 学"听话"，RL 学"分寸"。

十一、延伸阅读

1. 预训练数据：The Pile、FineWeb、RedPajama
2. SFT 数据：Alpaca、ShareGPT、Dolly
3. RL 数据：Anthropic HH、OpenAI WebGPT
4. 数据工程：DataTrove、CCNet、Gopher Reprocessing

数据是 AI 的燃料，但不同阶段需要不同"标号"的燃料。选对燃料，才能让模型跑得又快又稳。